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PROCEDE DE ROUTAGE APAPTATIF PAR DEFLEXION 
AVEC APPRENTISSAGE PAR RENFORCEMENT 



DESCRIPTION 



Domaine de 1 ' invention 



L' invention concerne un procede de routage 
adaptatif par deflexion d' objets circulant dans un 
10 reseau de routeurs, dans lequel les objets deja 
presents dans le reseau sont prioritaires sur les 
objets qui demandent a y entrer. 

L' invention s' applique aux reseaux de 
routeurs dans lesquels circulent des objets a acheminer 
15 a une destination, fixee a l'avance, via un chemin 
optimum. En particulier, 1' invention peut s'appliquer 
aux reseaux de telecommunications pour le transfert de 
paquets d ' informations . Elle peut aussi s'appliquer a 
des reseaux de logistiques pour le routage de colis ou 
2 0 de lettres sur des chaines de tris, dans des 
entreprises de transport. 

L' invention peut egalement s'appliquer aux 
reseaux routiers pour aider au deplacement de 
vehicules, en evitant au mieux les zones encombrees, 
25 afin de faire transiter les vehicules d'un point a un 
autre le plus rapidement possible, tout en evitant les 
chocs avec d'autres vehicules. 
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Etat de la technique 

II existe actuellement plusieurs types de 
procedes de gestion d'un reseau de routeurs, appeles 
5 aussi « procedes de routage ». 

L'un de ces procedes est le procede du 
Q - L EARN I NG , qui est decrit notamment dans I' article de 
T. JAAKKOLA, M. JORDAN et S. SINGH, intitule 
« Convergence of stochastic iterative dynamic 
10 programming algorithms », in Advances in Neural 
Information Processing Systems, volume 6, 

pages 703 - 710, 1993, et dans 1' article de C. WATKINS 
and P. DAYAN, intitule « Technical note on 
Q-Learning », Machine Learning, 8(3), pages 279 - 292, 
15 1992. 

Une methode de Q-LEARNING utilisant une 
methode d ' apprentissage par renforcement est decrite 
dans 1' article de J. BOYAN and M. LITTMAN, « Packet 
routing in dynamically changing networks : a 

2 0 reinforcement learning approach », dans Advances in 

Neural Information Processing Systems, volume 6, 
pages 671 - 678, 1993. Cet article explique le probleme 
que l'on cherche a resoudre : lorsqu'un objet P arrive 
sur un routeur x avec, comme destination finale, le 
25 routeur d, alors le routeur x doit decider, a partir 
d' informations locales qui lui sont propres , vers 
lequel de ses voisins routeurs y, il doit aiguiller 
1' objet P, afin que ce dernier arrive dans les 
meilleurs delais a sa destination finale. Dans ce 

3 0 document, J. BOYAN et M . LITTMAN proposent de resoudre 

le probleme en estimant le temps necessaire a 1' objet P 
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pour aller du routeur x au routeur d, en utilisant une 
methode d ' apprentissage par renf orcement . 

Dans cette methode, tous les objets 
arrivent soit en provenance de la file d'attente 
externe, soit des liens internes du reseau, dans une 
file tampon, qui permet de temporiser les objets avant 
leur routage, via le routeur. II est done necessaire de 
prendre en compte, dans 1' equation de mise a jour des 
valeurs Q, la longueur de la file d'attente externe du 
routeur courant x. Ainsi, les valeurs Q x (d,y) 
fournissent une indication de 1' estimation du temps 
necessaire a l'objet pour atteindre sa destination d, a 
partir de x, en etant route sur y. Les valeurs Q 
tiennent compte du temps de trajet restant a parcourir 
et de 1 ' encombrement du routeur voisin, ce temps etant 
indicatif du temps necessaire aux objets presents dans 
la file d'attente externe de y pour rentrer dans le 
reseau et, done, indicatif du temps d'attente, engendre 
pour l'objet en x, non prioritaire sur les objets de la 
file d'attente externe, du voisin y. 

Avec une telle methode, il n'est pas 
possible de donner la priorite systematiquement aux 
objets presents dans le reseau, puisque tout objet 
entre dans le reseau est prioritaire. En effet, dans 
cette methode, et dans le cas oil la priorite serait 
donnee aux objets presents dans le reseau, 
1' encombrement des files d'attente externes des 
routeurs n'influe pas sur le temps de trajet d'un objet 
circulant a 1 ' interieur du reseau et ne permet pas 
d'estimer le retard induit par la charge des voisins 
des routeurs . 
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Cette methode ne peut done pas resoudre les 
problemes de routage des objets dans un reseau, dans 
lequel on donne la priorite aux objets deja presents 
dans le reseau. 

Ce procede du Q-LEARNING associe a une 
methode d ' apprentissage par renf orcement , est appelee 
« methode du Q-ROUTING ». Cette methode presente 
1 ' avantage d'etre tres efficace et de permettre 
d'obtenir une solution proche de celle fournie par 
l'algorithme classique du « chemin le plus court », 
lorsqu'il y a une faible charge de trafic sur le 
reseau. Lorsque la charge de trafic augmente, cette 
methode reste tres efficace, bien qu'elle necessite une 
courte periode d' adaptation . De plus, cette methode du 
Q-ROUTING adapte sa strategie de routage a des 
modifications occasionnelles de la topologie du reseau. 

Ces avantages sont obtenus par le fait que 
les decisions de routage sont prises localement et que 
les valeurs qui, seules, permettent la prise de 
decision de routage, sont reunies dans une table 
unique, cette table contenant a la fois les 
informations de charge du trafic du reseau et les 
informations d'adresses physiques des routeurs . 

Cependant, ce procede presente 

1' inconvenient suivant : le systeme doit apprendre un 
chemin optimal avec une charge stationnaire ; des que 
la charge change, un nouvel apprentissage est 
necessaire et celui-ci est tres lent. De plus, lorsque 
la charge de trafic diminue, le procede de Q-ROUTING 
n'a pas la capacite de renconverger rapidement vers 
l'efficacite initiale (e'est-a-dire le plus court 
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chemin) , du fait que, seules, les donnees concernant 
les routeurs visites sont mises a jour. II y a ainsi un 
effet d' hysteresis dans 1 ' apprentissage des tables de 
routage . 

Cette inertie d' adaptation aux variations 
de trafic est tres genante, en pratique, car elle 
empeche toute absorption de la sporadic! te, 
incontournable dans la plupart des applications. 

Pour eviter cet effet d' hysteresis , un 
precede a ete decrit dans 1' article de S. CHOI and 
D. YEUNG, intitule « Predictive Q-routing : a 
memory-based reinforcement learning approach to 
adaptative traffic control », submitted to Neural 
15 Information Processing Systems. Ce document propose 
d'utiliser un trafic de sondes ; pour cela, des objets 
« sondes » sont envoyes vers des routeurs dont les 
valeurs Q sont tres elevees et non modifiees depuis 
longtemps, afin de mettre a jour les valeurs Q 
20 correspondantes. Pour cela, ce document propose de 
predire, au moyen d'une extrapolation lineaire, quelles 
sont les corrections a apporter aux valeurs Q, avant de 
les evaluer, pour trouver la meilleure affectation des 
objets sur les sorties. Cependant, cette methode 
25 necessite 1 ' utilisation de quatre tables, au niveau de 
chaque routeur, ce qui augmente considerablement les 
temps de traitement. 

Une autre methode pour eviter 1' effet 
d'hysteresis, pourrait consister a utiliser du bruit 
thermodynamique dans le mecanisme de choix de 
1- affectation iy, afin de garantir une bonne 



30 
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exploration de 1 ' espace des etats. Cette methode est 
bonne lorsque le taux de charge est homogene. 
Cependant, comme 1 ' apprentissage doit etre continuel 
dans 1 ' environnement instationnaire du reseau, il 
apparait difficile de controler une loi de descente de 
pseudo-temperature . 

Expose de 1 ' invention 

L ' invention a justement pour but de 
remedier aux inconvenients des procedes de routage 
decrits precedemment . 

A cette fin, elle propose un procede de 
gestion d'un reseau de routeurs, base sur la technique 
d' apprentissage par renf orcement , dans lequel la 
priori te est donnee aux objets deja presents dans le 
reseau, sur ceux qui demandent a y entrer. 

Plus precisement , 1 ' invention concerne un 
procede de routage adaptatif d' objets dans un reseau 
numerique comportant une pluralite de routeurs relies 
entre eux par des liens, chaque routeur comportant : 

- M liens entrants et M liens sortants ; 

- une file d'attente interne ; 

- une file d'attente externe ; 

- un buffer de routage de taille M ; et 

- un module de traitement ; 

chaque routeur etant associe a une table de routage 
comportant des valeurs relatives a 1' estimation du 
nombre de deflexions subies par chaque objet au depart 
de ce routeur, pour une destination donnee, 
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ledit procede comprenant une premiere etape 
d' initialisation de la table de valeurs associee a 
chaque routeur, puis une etape de traitement recurrent 
de chaque lien du reseau consistant a : 
5 a) detecter si au moins un objet est arrive 

sur au moins un routeur ; 

b) considerer chaque lien du reseau et 
regarder s ' il y a au moins un objet sur ces liens ; 

- si oui, deplacer les objets le long des 

10 liens d'une unite de temps ; 

- si non, attendre une unite de temps ; 

c) considerer chaque routeur du reseau et 
pour chacun detecter l'etat de ses liens entrants ; 

- si la presence d'un objet est detectee 
15 sur un lien entrant et que la destination de cet objet 

est le routeur considere, alors ledit objet etant 
arrive a destination, il est sorti du reseau ; 

- si aucun objet a destination de ce 
routeur n'est detecte sur les liens entrants, alors 
verifier l'etat de la file d'attente interne : 

si la file d'attente contient 
des objets, alors transferer ces objets dans le buffer 
du routeur ; 

si ledit buffer n'est pas 
plein, alors verifier si des objets sont en attente 
dans la file d'attente externe et remplir le buffer 
avec une partie au moins des- objets en attente dans 
cette file d'attente externe, 
caracterise en ce qu'il consiste a : 

d) affecter le contenu du buffer de routage 
sur les liens sortants du routeur en fonction de la 



20 
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table de routage associee et estimer dynamiquement le 
nombre de deflexions que les objets subiront en aval du 
routeur pour atteindre leur destination ; 

e) mettre a jour les valeurs de la table de 
routage associee pour estimer le nombre de deflexions 
subies, sur tout le trajet, par les objets. 

Avantageusement , a 1'arrivee d'un objet, 
chaque routeur envoie au routeur precedent un accuse de 
reception indiquant le nombre de deflexions estimees, 
subies par 1' objet pour aller jusqu'au routeur de 
destination . 

Selon un mode de realisation de 
1' invention, les etapes c) a e) sont effectuees 
successivement pour chaque routeur. 

Selon un autre mode . de realisation de 
l'invention, les etapes c) a e) sont effectuees pour 
chaque routeur simultanement . 

L'etape c) du procede de l'invention peut 
consister a prendre en compte les informations 
contenues dans les accuses de reception envoyes par 
tous les routeurs voisins, pour la mise a jour des 
tables de routage. 

Breve description des figures 

- La figure 1 represente schematiquement un 
exemple de reseau de routeurs, relies par des liens 
bidirectionnels ; 

la figure 2 represente le diagramme 
fonctionnel d'un routeur du reseau de la figure 1 ; 
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- les figures 3A, 3B, etc., representent 
l'organigrairane general du procede de 1' invention. 



Description detaillee de modes de 
realisation de 1 ' invention 

Sur la figure 1, on a represents 
schematiquement un exemple de reseau de routage 
comportant plusieurs routeurs relies les uns aux autres 
par des liens bidirectionnels . Dans cet exemple, le 
reseau comporte 3X3 routeurs. 

Sur cette figure 1, on a reference la, lb, 
lc, etc., les differents routeurs du reseau et on a 
represents, par des f leches, les liens entrants et 
sortants qui relient les routeurs deux-a-deux. La 
reference 2 represente ces liens bidirectionnels entre 

deux routeurs . 

Ces liens assurent la circulation des 
objets entre les routeurs. Ces objets sont caracterises 
chacun par leur destination. Chaque objet transite dans 
le reseau, par un ou plusieurs routeurs, jusqu'a ce 
qu'il atteigne sa destination. Pour se faire, les 
objets entrent dans le reseau par un routeur d # entree, 
cheminent dans le reseau de routeur en routeur, le long 
des liens et sortent du reseau par le routeur 
correspondant a leur destination. 

Chaque routeur a des liens entrants et des 
liens sortants. Le role des routeurs est de « router » 
les objets en transit, c'est-a-dire de determiner une 
affectation pour les objets qui se presenters a leur 
entree et de les faire sortir par une de leur sortie. 
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Pour cela, chaque routeur comporte ses propres moyens 
de decision. II peut ainsi etre charge de diriger les 
objets qui lui arrivent, en fonction des destinations 
demandees pour ces objets, en optimisant la qualite de 
service et en gerant au mieux les eventuels conflits. 

Sur la figure 2, on a represents 
schema tiquement le f onctionnement d'un routeur du 
reseau de routeurs, represents* sur la figure 1. 

Comme on le voit sur cette figure, chaque 
routeur comporte des liens entrants, references 2a, et 
des liens sortants, references 2b. Les liens entrants 
2a sont les liens qui proviennent d'un routeur voisin. 
Les objets transmis par ces liens entrants 2a sont 
places dans une file d'attente interne, referencee 3, 
c'est-a-dire une file d'attente qui contient uniquement 
des objets provenant d'autres routeurs du reseau. 
Parallelement a cette file d'attente interne 3, le 
routeur comporte une file d'attente externe 4, dans 
laquelle sont places les objets demandant a entrer dans 
le reseau. 

Ces deux files d'attente 3 et 4 , de tallies 
limitees, sont connectees a un buffer de routage 5, 
dans lequel sont introduits les prochains objets a 
diriger dans le reseau, vers d'autres routeurs. Comme 
on le verra plus precisement par la suite, ce buffer de 
routage, de taille limitee M, est rempli en priorite 
par les objets contenus dans la file d'attente interne 
3 et, lorsqu'il reste de la place, par les objets 
presents dans la file d'attente externe 4. 
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Des moyens de decision 6, propres a chaque 
routeur, assurent la decision d' affectation de chaque 
objet contenu dans le buffer de routage 5. lis 
affectent les objets presents dans le buffer de routage 
sur les liens sortants du routeur. Autrement dit, ce 
sont ces moyens de decision 6 qui determinent si 
1' objet present dans le buffer de routage est arrive a 
destination, ou bien s'il doit etre dirige vers un 
autre routeur du reseau, afin d'arriver a sa 
destination . 

Les liens sortants 2b sont connectes a ces 
moyens de decision 6. Ces liens sortants 2b contiennent 
done les objets dont la destination n'etait pas le 
routeur considere, mais un autre routeur du reseau, le 
routeur considere ayant dirige ces objets vers d' autres 

routeurs voisins. 

Le reseau de routage, qui vient d'etre 
decrit, a done pour but d'acheminer le trafic d' objets 
de leur source a leur destination, en garantissant une 
qualite de service. En fonction de 1 ' application, cette 
qualite de service peut etre simplement la rapidite ou 
bien un choix de cheminement particulier, par exemple 
pour eviter les chocs dans 1 ' application au trafic 
routier . 

Dans le reseau, qui vient d'etre decrit, le 
routage est « distribue », e'est-a-dire que la decision 
de routage n'est pas centralisee, mais au contraire 
distribute dans chaque routeur du reseau. Ainsi, chaque 
routeur du reseau est equipe de moyens de decision 
autonomes (references), qui lui permettent, a un 
instant donne , de considerer tous les objets qu'il a a 
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transmettre et d' adapter sa decision de routage a 
chaque objet, en fonction de son environnement . 

Ce reseau de routage agit par deflexions, 
une deflexion etant l'ecart entre le chemin suivi 
reellement par 1' objet et le chemin theorique prevu 
initialement, sans tenir compte du trafic. Autrement 
dit, ce mode de routage consiste a repartir cres 
rapidement, sur les liens de sortie, les objets 
arrivant a un instant donne sur les liens entrant du 
routeur. Ainsi, quand deux objets arrivent sur le meme 
routeur, et que ces objets desirent prendre la meme 
sortie, 1 ' un des objets prend cette sortie et 1 ' autre 
objet est deflechi, c'est-a-dire qu'il est envoye sur 
un autre lien qui n'avait pas sa preference. Ce concept 
permet de fournir un mode de reglement rapide des 
conflits a l'interieur du routeur. 

Chaque routeur du reseau est associe a une 
table de valeur qui contient les estimations du nombre 
de deflexions necessaires pour aller du routeur 
considere, a tout autre routeur du reseau, par les M 
sorties du routeur considere. Plus precisement, dans le 
cas ou le critere de qualite est la .duree de transit, 
la table de valeurs contient toutes les informations 
d' estimations du temps requis pour aller du routeur 
considere a un autre routeur du reseau, par 1'une des M 
sorties de ce routeur. 

Les tables de valeurs des routeurs sont 
mises a jour, grace a des accuses de reception envoyes 
chacun par le routeur considere au routeur precedent, 
via le lien qui relie ces deux routeurs. Ces accuses de 
reception indiquent le nombre estime de deflexions 
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subies par l'objet pour aller du routeur considere au 

routeur de destination. 

Autrement dit, la table de valeurs du 

routeur x contient les estimations du nombre de 

deflexions necessaires pour aller de ce routeur a tous 
les autres routeurs du reseau par les M sorties du 
routeur x. Dans le cas ou le critere de qualite est la 
duree de trajet, cette table contient toutes les 
informations d' estimation du temps requis pour aller de 
x a tout autre routeur du reseau, par l'une des sorties 
M de x. 



Sur la figure 3 , on a represents, de fagon 
schematique, 1 ' organigramme montrant les differentes 

15 etapes du procede de 1' invention. 

La premiere etape, referencee El, est une 
etape d' initialisation. Dans cette etape, toutes les 
variables, utilisees dans le procede de 1' invention, 
sont initialisers. Ainsi : 

20 _ y est une configuration d' affectation . Si 

N objets sont a router, la configuration d' affectation 
\|/ est composee de N affectations yi (y) ; 

- S x (d,y) est une distance entre x et d en 
sortant par le routeur y ; 

2 5 - S x (di,yi(V) ) est une distance entre x et 

di en sortant par le routeur yiW ; 

p = fP=(SwdiM est 1' ensemble des 

— r^i cans 1 1. l j- j. \ ^ j. ' -«-' - 

objets en transit : chaque objet Pi vient du routeur 
voisin si et a la destination di ; 
30 _ x\ e [0,1[ est le taux d' apprentissage ; 
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-ye [0,1[ est le taux d'oubli ; 

- Qx(di,y) est une estimation du nombre de 
deflexions subies par les objets allant de x a di, en 
sortant de x par y. Le nombre de deflexions est calcule 
par rapport a la sortie au plus court chemin 
topologique . 

En particulier, la table Q x du routeur x 
est initialisee de la fagon suivante : 



10 Q t °(d, y) = 0 si S x (d, y) = min y . voi sin de x (S x (d, y' ) ) 
x 



(1) 



t = 0 

Q (d, y) = 1 sinon 

x 



Le procede de 1' invention se poursuit par 
15 une succession d'iterations (etapes E2 a E4 ) , chaque 
iteration correspondant a 1 ' arrivee de nouveaux objets 
dans les files d'attente exterieures et au 
declenchement de tous les routeurs du reseau, afin 
d'admettre d'eventuels objets provenant de 1 ' exterieur 
2 0 et de router les objets provenant des routeurs voisins. 

L' organigramme de la figure 3 represente le 
procede de 1' invention pour 1' iteration k. Lorsque 
toutes les etapes de 1 ' organigramme ont ete effectuees 
pour cette iteration k, le procede est repete pour 
25 1' iteration k + 1. 

Le nombre T d'iterations n'est limite que 
par le temps CPU, que 1 ' on souhaite accorder au 
procede, T etant toutefois suffisant pour rendre compte 
du comportement du reseau. 
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Chaque iteration, dans le precede de 
1' invention, comporte deux etapes : 

- l'etape E2 , qui correspond a l'arrivee de 
nouveaux objets sur certains routeurs, ou sur 
1' ensemble des routeurs du reseau ; et 

- l'etape E3 , qui correspondant au parcours 
de tous les liens du reseau et au deplacement des 
objets le long de ces liens. 

Plus precisement, dans l'etape E2 , de 
nouveaux objets arrivent sur certains routeurs du 
reseau, afin de transiter a travers le reseau. Ces 
nouveaux objets sont caracterises par leur destination, 
e'est-a-dire par l'adresse de leur routeur de 
destination. Chaque nouvel objet est place en queue de 
la file d'attente externe du routeur devant lequel il 
se presente. 

L'etape E3 consiste a traiter les objets 
presents dans les liens du reseau. Plus precisement, 
cette etape E3 consiste, tout d'abord, a traiter 
sequentiellement tous les liens du reseau (sous-etape 
E3a) . Elle consiste ensuite, dans une sous-etape E3b, a 
traiter sequentiellement tous les objets contenus dans 
chaque lien. Tout objet present sur le lien considere 
est alors avance d'une case le long du lien (sous-etape 
25 E3c), chaque « case » correspondant au deplacement d'un 
objet sur un lieu pendant une unite de temps. 

L'etape E3 consiste ensuite a verifier, 
dans une sous-etape E3d, si le deplacement implique que 
1' objet arrive sur un routeur ; si e'est le cas , alors 
1' objet est place dans une file d'attente interne du 
routeur (etape E3f). Si ce n'est pas le cas, alors la 



20 



30 
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nouvelle position de l'objet sur le lien est 
enregistree (etape E3e) et sera prise en compte pendant 
l'etape E3 , a la prochaine iteration. 

Le procede de 1' invention se poursuit par 
une etape E4, qui consiste a parcourir, dans un ordre 
sequentiel aleatoire, tous les routeurs du reseau et a 
realiser, sur chacun de ces routeurs,- un certain nombre 
d' operations . Ces operations peuvent etre realisees sur 
tous les routeurs simultanement ou bien sur chaque 
routeur successivement . 

L'etape E4 se divise en sous-etapes E4a a 
E4d. L'etape E4a consiste, avant de proceder a 
1' admission de nouveaux objets dans la file d'attente 
interne, a etudier la liste des objets presents dans 
cette file d'attente interne et, en particulier, leurs 
destinations. Les objets presents dans cette file 
d'attente interne qui sont arrives a destination (dans 
ce cas, leur destination est le routeur considere) sont 
delivres et retires du reseau. 

Plus precisement , cette etape E4a consiste 
en un test E4al, qui verifie si les objets contenus 
dans la file d'attente interne ont pour destination 
l'adresse du routeur considere. Si c'est le cas, alors 
ces objets sont livres lors de l'etape E4a2 . Si ce 
n'est pas le cas, alors on passe a l'etape E4b, qui 
remplit le buffer de routage . 

Cette etape E4b comporte, tout d'abord, une 
etape E4bl , qui consiste a transferer les objets 
contenus dans la file d'attente interne, et non 
delivres ( c ' es t-a-dire qui ne sont pas arrives a 
destination), dans le buffer de routage. Bien sur, ce 
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sont les objets les plus anciens contenus dans la file 
d'attente qui sont transferes en premier dans le buffer 
de routage. S'il n'y a pas suffisamment de place dans 
le buffer de routage, seule une partie des objets 
contenus dans cette file d'attente interne est 
transferee dans le buffer de routage. 

Un test E4b2 consiste ensuite a verifier si 
le nombre d' objets BR dans le buffer de routage est 
bien infer ieur a M, c'est-a-dire au nombre de places 
disponibles dans le buffer. Si c'est le cas, alors le 
precede de 1' invention consiste a regarder dans la file 
d'attente externe (test E4b4) s'il y a des objets 
presents. Si c'est le cas, alors les objets presents 
sur la file d'attente externe sont introduits dans le 
buffer de routage, de fagon a remplir le buffer de 
routage. Autrement dit, pour un buffer de routage de 
taille M, s'il y a BR objets deja places dans le buffer 
(objets provenant de la file d'attente interne), alors 
il est possible d' introduire, dans le buffer, M - BR, 
objets provenant de la file d'attente externe. Par 
centre, si a 1 ' etape E4b2 , il s ' avere que le buffer de 
routage est deja entierement rempli par les objets qui 
proviennent de la file d'attente interne, alors aucun 
objet provenant de file d'attente externe n'est 
introduit dans le buffer de routage. 

En effet, dans ce mode de routage, le 
routeur pent router au maximum M objets, simultanement , 
soit un objet par sortie. 

Ce procede donne ainsi la priorite aux 
objets en transit, c'est-a-dire aux objets deja 
presents dans le reseau de routeurs . Les nouveaux 
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objets ne peuvent entrer dans le reseau que s'il y a de 
la place disponible. Ce procede garantit qu'un objet ne 
peut etre « tue » dans le reseau, c'est-a-dire retire 
du reseau tant que son routage n'est pas termine. 

Le procede de 1' invention se poursuit par 
l'etape E4c de routage, proprement dit, des objets, 
cette etape de routage etant la determination, pour 
tous les objets presents dans le buffer de routage, du 
routeur de destination et de la sortie sur laquelle on 
affecte l'objet. 

Dans le procede de 1' invention, chaque 
routeur a une strategie globale lui permettant 
d'estimer grossierement la trajectoire des objets qu'il 
doit router, afin qu'ils atteignent leur destination en 
evitant les regions denses du reseau, ce qui a priori 
minimise les risques de collision, et en evitant aussi 
de s ' engager dans les regions bouchees . Dans ce 
procede, le routeur a egalement une strategie locale 
lui permettant de determiner une affectation 
admissible, c'est-a-dire de ne pas donner la meme 
sortie a deux objets differents. 

Ainsi, au niveau d'un routeur, la strategie 
consiste a viser, pour chaque objet a router, le chemin 
optimal, s'il est disponible, ou un chemin 
sous-optimal, en donnant la priorite a l'evitement des 
collisions, par le moyen des deflexions. 

Le principe de routage par deflexion 
consiste a repartir les objets de la file d'attente 
interne sur les M sorties du routeur, en fonction des 
destinations desirees par les objets. En d'autres 
termes, le procede consiste a trouver une configuration 
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d' affectation des objets presents dans la file 
d'attente interne, optirnale au sens des criteres 
choisis . 

Le procede de 1' invention propose 
d'utiliser des indicateurs internes au trafic du 
reseau. L'indicateur interne choisi est 1 ' estimation 
dynamique du nombre de deflexions que ies objets 
devront subir, en aval du routeur considere, pour 
atteindre leur destination. Ainsi, les objets seront 
routes, de maniere a minimiser le nombre global de 
deflexions qu'ils auront a subir. 

Une fois 1 ' affectation determinee, les 
objets sont transferes instantanement sur les sorties 
du routeur. 

L'etape E4c du procede de 1' invention 
consiste, d'abord, a selectionner la meilleure 
configuration d ' affectation dynamique (etape E4cl) , par 
exemple celle qui minimise le temps de trajet estime. 
Elle consiste, ensuite, a router des objets en 
appliquant cette configuration optirnale (etape E4c2). 
Enfin, l'etape E4c3 consiste a envoyer des accuses de 
reception aux routeurs precedents pour les informer que 
les objets ont bien ete routes. En d'autres termes, si 
n objets Pi(Si,di) doivent etre routes en un routeur x, 

alors il faut : 

- selectionner la meilleure configuration 

d' affectation dynamique vj/ : 

vj/ = arg min, J^-i (S ; ,(d. : , Yl ( V ) ) + 2 .Q x (d i( y^) ) ) (Eq. D 
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- router les objets suivants la 
configuration optimale \j/ , i. e. affecter a chaque 
objet Pi la sortie yi (y) ; 

- envoyer au routeur d'origine Si de 
1' objet Pi(Si,di) e Ptransit un accuse de reception : 

t^di) = Q x (d if y^fjtt ) (Eq. 2) 

ou yi ( y ) designe la sortie ef f ectivement empruntee par 

1 ' objet Pi (si, di) . 

En effet, le routage se fait sur la base de 
la valeur S x (di,yi(y) + 2 . Q x (d L , Yi ( \j> ) ) , dans laquelle 
S x (d i/ y i (\i/)) represente la distance du plus court 
chemin pour que 1' objet i aille de x a sa destination 
di, en empruntant la voie y± ( y ) . Comme Q x (di , yi ( y ) ) 
designe le nombre de deflexions estime sur le trajet le 
plus suivi pour aller de x a di, en passant par Yi ( y ) 
lors des dernieres iterations, la variable S x (d i# yi(v)) 
represente 1 ' estimation du nombre de routeurs que 
1' objet i traversera sur son trajet, en sortant par 
yi ( vj/ ) . Puisque tous les liens sont , par hypothese, de 
la meme longueur, cette valeur est directement 
proportionnelle au temps de transit. En consequence, le 
routage se fait par 1 ' optimisation du temps de transit 
des objets, ce temps etant estime dynamiquement a 
1 ' aide d'un indicateur interne (par exemple, le nombre 
de deflexions subies). 

Le procede de 1 ' invention se poursuit par 
l'etape E4d, qui consiste a mettre a jour la table des 
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valeurs de routage. La mise a jour de la table des 
valeurs de routage se fait de la fagon suivante : 

A chaque routeur x, est associee une table 
T x/ qui lui est propre : 

T x = {<2 x (d, z) / z € v(x) , d : routeur du reseau} 



avec 



- V (x) : ensemble des routeurs voisins de 



x 



- Q x (d,z) : une valeur associee au triplet 
(routeur x, destination d, sortie z) . 

Plus precisement, l'etape E4d comporte un 
test E4dl destine a verifier si un accuse de reception 
a ete regu par le routeur x, en provenance d'un routeur 
voisin yi, pour la destination di . Si c'est le cas, 
alors , pour tous les routeurs y voisins de x (etape 
E4d2), on verifie, dans une etape E4d3 , si y est la 
sortie correspondant au routeur d'ou provient 1 ' accuse 
de reception. Si c'est le cas, alors la table des 
valeurs Q est mise a jour selon le mode 
« apprentissage » (etape E4d4). Si ce n'est pas le cas, 
alors la table des valeurs est mise a jour selon le 
mode « desapprentissage » (etape E4d5) . Par contre, si 
aucun accuse de reception n'a ete regu par le routeur 
x, a l'etape E4dl, alors on passe directement a la fin 
du procede, pour 1' iteration k. 

Cette etape E4d peut s'ecrire de la fagon 

suivante : 
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Pour tout y appartenant au voisinage de x : 
si y = yi, i. e. y est la sortie 
correspondant au routeur d'ou provient 1' accuse de 
reception, alors : 

5 

Q x (d if y) : = (1 - T|) .Q x (d i# y) + TKqJd*, y) + t y (d,) ) (Eq. 3) 




ou qx(d i# y) = 1, si y n'appartient pas a un des plus 
courts chemins topologiques entre x et di (deflexion) et 
10 q x (di,y) = 0 sinon. 

Sinon : 

t = 0 

Q x (d 1# y) : = Y-Qxtdi. y) + (1 - Y> -Q x <d t , y) (Eq. 4) 

15 Cette estimation dynamique est done 

realisee en prenant en compte le fait que, lors de la 
mise a jour de la table de routage, le routage a 
deflechi ou non l'objet. La mise a jour de la table de 
routage utilise 1 ' information de 1 ' affectation choisie 

20 pour les precedents objets, deja passes par le routeur 
x considere. On obtient ainsi une information sur 
1 ' encombrement du reseau . 

Le procede de mise a jour des valeurs de 
Q x , selon le mode « apprentissage », est le suivant . 

25 

Q (d ., y) : = (i - n) .Q x (d t , y) + n- (q x (di. Y) + t y (d t ) ) 
dans laquelle : 
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- qx(di'Y> = 1, si y n'appartient pas a un 
des plus courts chemins topologiques entre x et di 
(i. e. s'il y a deflexion) et qx(di,y) = 0, sinon ; 

- t x (di) = Qx(di,yi( v ) ) et yi ( v ) designe la 
5 sortie attribuee a l'objet Pi par 1 ' affectation 

Dans 1' equation (Eq. 3), le cout immediat 
de 1' action decidee par la procedure de routage est 
egal a q*(di,y), qui vaut 1 (penalisation) si le 
routage impose une deflexion a l'objet route et qui 
10 vaut 0, sinon (non penalisante) . 

Grace a cette expression, en regime 
stationnaire, le systeme va dynamiquement apprendre une 
valeur Q x (di,y), indiquant le nombre de deflexions que 
l'objet sera susceptible de subir, s'il emprunte la 
15 sortie y pour aller de x a di . 

L'emploi de la sortie yi ( vj; ) , sortie 

ef f ectivement empruntee par l'objet Pi(Si,di), est 
capital. En effet, c'est grace a lui que la 
connaissance des chemins eff ectivement parcourus par 

2 0 les objets, pourra etre propagee a travers le reseau. 

Le procede de mise a jour, selon le mode 
« desapprentissage » consiste, a chaque iteration, a 
mettre a jour systemat iquement la table des valeurs Q, 
independamment de 1 ' apprentissage du au trafic, au 

2 5 moyen de la formule de mise a jour : 



t = 0 

Q ; . : (d,, y) : = y) + (1 - y) -Q x Wi. Y) 
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avec ye [0,1]. Dans cette formule, le desapprentissage 
par le facteur d'oubli est applique, pour chaque 
affectation d'un objet Pi se trouvant en x, allant de 
di et etant route sur le moteur y± par la procedure de 
routage, sur les trois routeurs voisins de x differents 
de y. L'objectif est de revenir lentement vers les 
valeurs initiales du plus court chemin, en 1 ' absence de 
trafic, afin d'ameliorer 1 ' adaptation du reseau lors 
d'un passage d'une phase de fort trafic a une phase de 
faible trafic. Le phenomene d'hysteresis est ainsi 
attenue et il est possible de realiser le routage 
d'objets dans un trafic non-stationnaire. 

Les valeurs Q x (d if y) sont ainsi modifiees a 
chaque iteration de deux fagons possibles. 

La premiere fagon correspond a 

1' apprentissage et est associee a un eventuel retour 
d' informations en provenance des voisins. 

La seconde fagon est associee a un 
desapprentissage, c'est-a-dire a un oubli partiel des 
anciennes valeurs ; elle concerne, pour le couple 
(x,di), les sorties y, autres que celles de laquelle 
provient 1 ' accuse de reception regu./En 1 ' absence de 
message de retour en provenance des voisins, les 
valeurs Q convergent geometriquement vers leur valeur 
de reference. Il y a done une concurrence entre la 
dynamique d ' apprentissage des tables de valeurs et la 
dynamique doublee. La vitesse d'oubli est reglee par le 
parametre y. Le choix de y est important ; en effet, 
s'il est trop faible, 1'algorithme oublie plus vite 
qu'il n'apprend et altere alors les performances du 
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Q-routing : s'il est trop grand, le procede peut etre 
mal adapte a la sporadicite du trafic. 

Ainsi, le procede de 1' invention permet de 
router des objets dans un reseau de routeurs, dans 
lequel la prior ite est donnee aux objets deja presents 
dans le reseau. En outre, il permet une adaptation aux 
conditions de trafic non stationnaire . Le routage, 
utilise dans ce procede, s ' adapte automatiquement a la 
charge du reseau, chaque routeur estimant 
l'encombrement du reseau, ce qui evite d'envoyer les 
objets dans des zones du reseau, qui sont encombrees . 
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1. Procede de routage adaptatif d'objets 
dans un reseau comportant une plurality de rputeurs (1) 
relies entre eux par des liens (2), chaque routeur 
comportant : 

- M liens entrants (2a) et M liens sortants 

(2b) ; 

- une file d'attente interne (3) ; 

- une file d'attente externe (4) ; 

- un buffer de routage de taille M (5) ; et 

- un module de traitement (6), 

chaque routeur etant associe a une table de routage 
comportant des valeurs relatives a 1' estimation du 
nombre de deflexions subies par chaque objet au depart 
de ce routeur, pour une destination donnee, 
ledit procede comprenant une premiere etape (El) 
d' initialisation de la table de valeurs associee a 
chaque routeur, puis une etape de traitement recurrent 
de chaque lien du reseau consistant a : 

a) detecter si au moins un objet est arrive 
sur au moins un routeur (E2) ; 

b) considerer chaque lien du reseau et 
regarder s'il y a au moins un objet sur ces liens 
(E3) ; 

- si oui, deplacer les objets le long des 
liens d'une unite de temps ; 

- si non, attendre une unite de temps ; 

c) considerer chaque routeur du reseau et 
pour chacun detecter l'etat de ses liens entrants 

(E4) ; 
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- si la presence d'un objet est detectee 
sur un lien entrant et que la destination de cet objet 
est le routeur considere, alors ledit objet etant 
arrive a destination, il est sorti du reseau ; 

si aucun objet a destination de ce 
routeur n'est detecte sur les liens entrants, alors 
verifier l'etat de la file d'attente interne : 

. si la file d'attente interne 
contient des objets, alors transferer ces objets dans 
le buffer de routage du routeur (E4bl) ; 

si ledit buffer n'est pas 
plein, alors verifier si des objets sont en attente 
dans la file d'attente externe (E4b4) et remplir le 
buffer avec une par tie au moins des objets en attente 
dans cette file d'attente externe (E4b3), 
caracterise en ce qu'il consiste a : 

d) affecter le contenu du buffer de routage 
sur les liens sortants du routeur en fonction de la 
table de routage associee et estimer dynamiquement le 
nombre de deflexions que les objets subiront en aval du 
routeur pour atteindre leur destination (E4c) ; 

e) mettre a jour les valeurs de la table de 
routage associee pour estimer le nombre de deflexions 
subies, sur tout le trajet, par les objets (E4d5, 
E4d4) . 

2. Procede selon la revendication 1, 
caracterise en ce que, a I'arrivee d'un objet, chaque 
routeur envoie au routeur precedent, un accuse de 
reception indiquant le nombre estime de deflexions 
subies par 1' objet pour aller jusqu'au routeur de 
destination . 
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3 . Procede selon la revendication 1 ou 2 , 
caracterise en ce que les etapes c) a e) sont 
effectuees successivement pour chaque routeur. 

4. Procede .selon la revendication 1 ou 2 , 
5 caracterise en ce que les etapes c) a e) sont 

effectuees pour chaque routeur, simul tanement . 

5. Procede selon l'une quelconque des 
revendications 1 a 4, caracterise en ce que 1 ' etape c) 
consiste a prendre en compte les informations contenues 

10 dans les accuses de reception envoyes par tous les 
routeurs voisins pour la mise a jour des tables de 
routage . 
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